Position modeling plays a critical role in Transformers. In this paper, we focus on length extrapolation, i.e., training on short texts while evaluating longer sequences. We define attention resolution as an indicator of extrapolation. Then we propose two designs to improve the above metric of Transformers. Specifically, we introduce a relative position embedding to explicitly maximize attention resolution. Moreover, we use blockwise causal attention during inference for better resolution. We evaluate different Transformer variants with language modeling. Experimental results show that our model achieves strong performance in both interpolation and extrapolation settings. The code will be available at https://aka.ms/LeX-Transformer.

Pre-trained models have achieved remarkable success in natural language processing (NLP). However, existing pre-training methods underutilize the benefits of language understanding for generation. Inspired by the idea of Generative Adversarial Networks (GANs), we propose a GAN-style model for encoder-decoder pre-training by introducing an auxiliary discriminator, unifying the ability of language understanding and generation in a single model. Our model, named as GanLM, is trained with two pre-training objectives: replaced token detection and replaced token denoising. Specifically, given masked source sentences, the generator outputs the target distribution and the discriminator predicts whether the target sampled tokens from distribution are incorrect. The target sentence is replaced with misclassified tokens to construct noisy previous context, which is used to generate the gold sentence. In general, both tasks improve the ability of language understanding and generation by selectively using the denoising data. Extensive experiments in language generation benchmarks show that GanLM with the powerful language understanding capability outperforms various strong pre-trained language models (PLMs) and achieves state-of-the-art performance.

Despite the current success of multilingual pre-training, most prior works focus on leveraging monolingual data or bilingual parallel data and overlooked the value of trilingual parallel data. This paper presents \textbf{Tri}angular Document-level \textbf{P}re-training (\textbf{TRIP}), which is the first in the field to extend the conventional monolingual and bilingual pre-training to a trilingual setting by (i) \textbf{Grafting} the same documents in two languages into one mixed document, and (ii) predicting the remaining one language as the reference translation. Our experiments on document-level MT and cross-lingual abstractive summarization show that TRIP brings by up to 3.65 d-BLEU points and 6.2 ROUGE-L points on three multilingual document-level machine translation benchmarks and one cross-lingual abstractive summarization benchmark, including multiple strong state-of-the-art (SOTA) scores. In-depth analysis indicates that TRIP improves document-level machine translation and captures better document contexts in at least three characteristics: (i) tense consistency, (ii) noun consistency and (iii) conjunction presence.

The spread of rumors along with breaking events seriously hinders the truth in the era of social media. Previous studies reveal that due to the lack of annotated resources, rumors presented in minority languages are hard to be detected. Furthermore, the unforeseen breaking events not involved in yesterday's news exacerbate the scarcity of data resources. In this work, we propose a novel zero-shot framework based on prompt learning to detect rumors falling in different domains or presented in different languages. More specifically, we firstly represent rumor circulated on social media as diverse propagation threads, then design a hierarchical prompt encoding mechanism to learn language-agnostic contextual representations for both prompts and rumor data. To further enhance domain adaptation, we model the domain-invariant structural features from the propagation threads, to incorporate structural position representations of influential community response. In addition, a new virtual response augmentation method is used to improve model training. Extensive experiments conducted on three real-world datasets demonstrate that our proposed model achieves much better performance than state-of-the-art methods and exhibits a superior capacity for detecting rumors at early stages.

多语言机器翻译已被证明是一种有效的策略，可以用单个模型在多种语言之间进行翻译。但是，大多数研究都集中在多语言句子翻译上，而无需考虑跨不同语言生成长文档，这需要了解多语言上下文依赖性，并且通常更难。在本文中，我们首先是天真地纳入辅助多语言数据的辅助目标或源辅助数据对我们感兴趣的源目标对没有任何改进。在这一观察过程中，我们提出了一个名为多语言传递性（MTRAN）的新型框架，以在多语言模型中通过源辅助目标找到一个隐式的最佳途径。为了鼓励MTRANS，我们提出了一种称为三重平行数据（TPD）的新方法，该方法使用包含（源 - 载体，辅助目标和源目标）的平行三重线进行训练。然后，辅助语言充当枢轴，并自动促进隐式信息过渡流，从而更容易翻译。我们进一步提出了一个名为“双向多语言协议”（BI-Magree）的新颖框架，该框架鼓励不同语言之间的双向协议。为了鼓励Bi-Magree，我们提出了一种称为多语言Kullback-Leibler Divergence（MKL）的新颖方法，该方法迫使输入的输出分布具有相同的含义，但以不同的语言彼此一致。实验结果表明，我们的方法对三个文档翻译任务的强大基准进行了一致的改进：IWSLT2015 ZH-EN，DE-EN和VI-EN。我们的分析验证了MTRAN和BI-MAGREE的实用性和存在，我们的框架和方法对合成辅助数据有效。

在这份技术报告中，我们介绍了数字写作助手（高效且智能编辑），该助手通过使用人工智能（AI）技术来促进用户更有效地编写更高质量的文本。以前的写作助理通常提供错误检查的功能（以检测和纠正拼写和语法错误）和有限的文本练习功能。随着大型神经语言模型的出现，一些系统支持自动完成句子或段落。在Effidit中，我们通过提供五个类别的功能来显着扩展写作助手的能力：文本完成，错误检查，文本抛光，关键字到句子（K2S）和云输入方法（Cloud IME）。在文本完成类别中，Effidit支持基于生成的句子完成，基于检索的句子完成和短语完成。相比之下，到目前为止，许多其他写作助理仅提供三个功能中的一两个。对于文本抛光，我们具有三个函数：（上下文感知）短语抛光，句子释义和句子扩展，而其他许多写作助手通常会在此类别中支持一两个功能。本报告的主要内容包括象征的主要模块，实施这些模块的方法以及一些关键方法的评估结果。

变压器结构由一系列编码器和解码器网络层堆叠，在神经机器翻译中实现了重大发展。但是，假设下层提供了微不足道或冗余的信息，那么香草变压器主要利用顶层表示形式，从而忽略了潜在有价值的底层特征。在这项工作中，我们提出了组转换器模型（GTRAN），该模型将编码器和解码器的多层表示分为不同的组，然后融合这些组特征以生成目标词。为了证实所提出方法的有效性，对三个双语翻译基准和两个多语言翻译任务进行了广泛的实验和分析实验，包括IWLST-14，IWLST-17，IWLST-17，LDC，WMT-14和OPUS-100基准。实验和分析结果表明，我们的模型通过一致的增益优于其变压器对应物。此外，它可以成功扩展到60个编码层和36个解码器层。

通过多种语言对培训的多语言神经机器翻译（MNMT），由于模型参数的较少和较低的培训成本，通过在多种语言之间共享知识，引起了人们的关注。尽管如此，由于不同翻译方向之间的负面干扰，尤其是在高资源语言上，因此，多语言培训在共享参数中受到语言干扰退化的困扰。在本文中，我们提出了具有高资源语言特定培训（HLT-MT）的多语言翻译模型，以减轻负面干扰，该干扰采用了具有特定于语言的选择机制的两阶段培训。具体而言，我们首先仅使用高资源对训练多语言模型，然后选择解码器顶部的语言特定模块，以增强高资源方向的翻译质量。接下来，对所有可用语料库进行进一步培训，将知识从高资源语言（HRLS）转移到低资源语言（LRLS）。实验结果表明，HLT-MT在WMT-10和Opus-100基准测试上的表现优于各种强基础。此外，分析实验验证了我们方法在减轻多语言训练中负面干扰方面的有效性。

语言之间的大多数翻译任务都属于无法使用的零资源翻译问题。与两种通用枢轴翻译相比，多语言神经机器翻译（MNMT）可以使用所有语言的共享语义空间进行一通翻译，但通常表现不佳的基于枢轴的方法。在本文中，我们提出了一种新颖的方法，称为NMT（UM4）的统一多语言多语言多种教师模型。我们的方法统一了来源教师，目标老师和枢轴教师模型，以指导零资源翻译的学生模型。来源老师和目标教师迫使学生学习直接来源，以通过源头和目标方面的蒸馏知识进行目标翻译。枢轴教师模型进一步利用单语语料库来增强学生模型。实验结果表明，我们的72个方向模型在WMT基准测试上明显优于先前的方法。

基础模型由于在广泛的下游应用中的有效性而受到了很多关注。尽管在体系结构方面存在很大的融合，但大多数审慎的模型通常仍用于特定任务或模式。在这项工作中，我们建议将语言模型用作各种基础模型的通用接口。一系列预处理的编码者感知到了多种方式（例如视觉和语言），并与扮演通用任务层角色的语言模型对接。我们提出了一个半伴侣的语言建模目标，以共同确定界面和模块化编码器。我们从因果关系和非因果建模中涵盖了优势和能力，从而结合了两个世界的最佳状态。具体而言，所提出的方法不仅从因果语言建模中继承了内在学习和开放式生成的能力，而且由于双向编码器而有利于填补。更重要的是，我们的方法无缝地解锁了上述功能的组合，例如，通过填充编码器启用了文本学习或指导。各种仅语言和视觉语言基准的实验结果表明，我们的模型表现优于或与鉴定，零弹性概括和几乎没有的学习的专业模型竞争。